REVISTA DYNA NEW TECHNOLOGIES

Albert Pumarola (estudiante de doctorado de la UPC y autor del proyecto), Francesc Moreno-Noguer (investigador del CSIC responsable del proyecto), Antonio Agudo (CSIC) y Alberto Sanfeliu (UPC) son los investigadores del IRI que, con la colaboración de Aleix Martínez, de la Ohio State University (Estados Unidos), han desarrollado un novedoso sistema para reproducir de forma ilimitada las expresiones faciales partiendo de una sola imagen.

El sistema se basa en las denominadas ‘unidades de acción’, elementos de la arquitectura de computación que describen los movimientos anatómicos faciales que definen una expresión humana con toda su complejidad y variaciones.

A partir de este planteamiento metodológico, los investigadores han logrado controlar la magnitud de la activación de cada ‘unidad de acción’ y generar expresiones nuevas al combinarlas. Los resultados permiten sintetizar un número infinito de expresiones faciales anatómicamente coherentes como nunca antes se había conseguido.

El proyecto parte de las técnicas más avanzadas para sintetizar la expresión facial, concretamente las denominadas GAN (por las siglas en inglés de Generative Adversarial Networks), que permiten, por ejemplo, generar un conjunto de imágenes de personas que comparten la misma expresión. Hasta el momento, estas técnicas sólo permiten reproducir un número limitado de expresiones, determinado por el contenido del conjunto de datos.

El sistema desarrollado por el IRI no sólo permite crear nuevas expresiones a partir de una sola imagen, sino que propone una estrategia no supervisada sobre el tipo de imágenes que se generan. Es decir, permite que, por primera vez, el sistema aprenda de imágenes no optimizadas o retocadas y que, por ejemplo, tengan un fondo cambiante o estén mal iluminadas, tal y como se encuentran en los entornos reales.

Los investigadores consideran que esta estrategia ayuda al sistema a sintetizar un abanico más amplio de las expresiones faciales causadas por movimientos musculares anatómicamente factibles, a la vez que le dota de la capacidad de abordar imágenes en estado natural.

La implementación de este sistema abre la puerta a nuevas aplicaciones en sectores tan dinámicos como la industria del cine, las tecnologías fotográficas y multimedia, la moda o el comercio electrónico.

Distinción internacional
Los resultados de esta investigación se recogen en el artículo GANimation: Anatomically-aware Facial Animation from a Single Image (GANimation: Animación facial anatómica desde una sola imagen), distinguido como el Best Paper Award Honorable Mention en la European Conference on Computer Vision (ECCV 2018), el encuentro más importante del sector de la visión por computador. Celebrada el pasado septiembre en Múnich, Alemania, la ECCV congrega, cada dos años, a representantes de compañías como Google, Facebook, Microsoft o Amazon, así como a académicos de prestigio internacional de universidades de todo el mundo.

La publicación científica que recoge este avance ha sido fruto de la colaboración con el investigador Aleix Martinez, que visitó el IRI en el marco del Programa de Visitas de Excelencia María de Maeztu.

Actualmente, el IRI es el único centro de investigación en el área de la robótica que cuenta con el sello de excelencia científica María de Maeztu, otorgado por la Agencia Estatal de Investigación.

Artículo presentado y premiado en la conferencia ECCV 2018:
https://www.albertpumarola.com/publications/files/pumarola2018ganimation.pdf